Ông sinh ngày 28 tháng 8 năm Giáp Tý (tức 3 tháng 10 năm 1744), quê làng Định Công, Hà Nội. Ông là cháu 5 đời của Tiên Quận công Bùi Bỉnh Uyên, cháu 7 đời của Quảng Quận công Bùi Xương Trạch. Cha là Bùi Dụng Tân, hiệu Trúc Viên cư sĩ, dạy học ở nhà.

Bùi Huy Bích có 1 chị và 1 em trai. Năm ông lên 5 tuổi, mẹ ông mất, cha ông mang 3 chị em lên Hải Dương, ở làng An Lâu, huyện Thanh Miện. Trúc Viên dạy học tại đó.

Thuở nhỏ Tồn Am thể chất kém, thường đau ốm luôn, bề ngoài có vẻ "lỗ độn" nhưng trong lại có khiếu thông minh. Không những Bùi Huy Bích chóng học thuộc sách mà ngay cả với cuộc sống cũng tỏ ra am hiểu.[1]